Vermittlung von Effektgrößen an Lehrkräfte

Untersuchung verschiedener Visualisierungen und ihrer Anreicherungsoptionen zur Förderung des Verständnisses

Jürgen Schneider
Kirstin Schmidt, Kristina Bohrer, Samuel Merk, Iris Backfisch, Salome Wagner

23 Feb 2023

Theorie

Warum Effektgrößen?

  • “Clearinghouse” Ansätze
    Evidenzbasis systematischer Forschung bereitstellen (Knogler et al., 2022)



  • Effektstärken (ES) als eine der Schlüsselinformationen (Burns et al., 2011)



  • Wissenschaftler und “Clearinghouses” verwenden in der Regel standardisierte textuelle ES-Metriken (Cohen, 1988)


clearinghouse.edu.tum.de



educationendowmentfoundation.org.uk

Theorie

Warum Visualisierungen?

Theorie

Lehrpersonen-orientierte Wissenschaftskommunikation






kognitive Verarbeitung


Verständnis


Relevanzwahrnehmung für die Praxis


(Jensen & Gerber, 2020)

Theorie

Lehrpersonen-orientierte Wissenschaftskommunikation






kognitive Verarbeitung
- Aufgabenschwierigkeit
- Effizienz
Verständnis


Relevanzwahrnehmung für die Praxis


(Korbach et al., 2017; Marcus et al., 1996)

Theorie

Lehrpersonen-orientierte Wissenschaftskommunikation






kognitive Verarbeitung
- Aufgabenschwierigkeit
- Effizienz
Verständnis
- Akkuratesse
- Sensitivität
Relevanzwahrnehmung für die Praxis


(Merk et al., in press)

Theorie

Lehrpersonen-orientierte Wissenschaftskommunikation






kognitive Verarbeitung
- Aufgabenschwierigkeit
- Effizienz
Verständnis
- Akkuratesse
- Sensitivität
Relevanzwahrnehmung für die Praxis
- Wahrgenommene Informativität
- Wahrgenommener Wert

(Lortie-Forgues et al., 2021)

Theorie

Forschungsstand zur Visualisierung statistischer Information (für Laien)


Akkuratesse der Einschätzung statistischer Informationen: Visualisierungstyp spielt eine Rolle



Unterstützung im Prozess: Anreicherungsoptionen

Theorie

Forschungsinteresse & Studien

Delphi-Studie

Expertenurteil zu Lehrpersonen-orientierten Visualisierungen

explorativ
Studie 1

Vergleich der Wirkung verschiedener Visualisierungs-typen auf das Verständnis

explorativ
Studie 2

Vergleich der Wirkung verschiedener Anreicherungs-optionen auf das Verständnis

konfirmativ

Delphi Studie

  • 4 Experten der Datenvisualisierung, 4 Experten der Wissenschaftskommunikation in Clearinghouses & Transfer
  • Phase 1: Sammlung von 16 Visualisierungstypen
    (für Gruppenwerte auf einer metrischen Variable)

Delphi Studie

  • 4 Experten der Datenvisualisierung, 4 Experten der Wissenschaftskommunikation in Clearinghouses & Transfer
  • Phase 1: Sammlung von 16 Visualisierungstypen
    (für Gruppenwerte auf einer metrischen Variable)
  • Phase 2: Rating und Ranking von 44 plots

“How accurately might teachers assess the ES depicted in the plot above?”
(7-stufige Likert Skala; totally random - totally accurate)



Ergebnisse: “Top ranked” Visualisierungen

Studie 1: Visualisierungstypen

Design

Studie 1

Vergleich der Wirkung verschiedener Visualisierungs-typen auf das Verständnis

explorativ
  • Lehrpersonen (N = 40)

  • 4 x 6 within-design
    • 4 Visualisierungstypen
    • 6 ES (d= -.8 to .8)

  • randomizations
    • Reihenfolge der Bedingungen
    • Vignetten (1 von 4 between randomisiert)



Open Materials: github.com/j-5chneider/effsize_public

Studie 1: Visualisierungstypen

Instrumente

construct example_item source
Perceived task difficulty How difficult was it for you to understand the figure? (Marcus et al., 1996)
Efficiency [time taken to answer sensitivity and accuracy] own creation
Sensitivity Is one group superior to the other or are they approximately the same? (Merk et al., in press)
Accuracy ...abstract metric The group that reads on... tablet is entirely superior to the one with paper - paper is entirely superior to the one with tablet own creation
...Cohen's U₃ Look at the mean test score of the group reading on paper: What percentage of the group that reads on tablet has a higher test score than this value? oriented at (Grice & Barrett, 2014)
...overlap How much percent of the groups will overlap on the test score? own creation
Perceived informativity How informative do you perceive the way the information is presented in the figure? (Lortie-Forgues et al., 2021)
Perceived value To what extent are these results relevant for your future teaching? own creation

Demo: es-vis-demo1.formr.org

Studie 1: Visualisierungstypen

Ergebnisse

Bayesianische Mehrebenenanalyse: Dummycodierte Visualisierungstypen


Visualisierungstypen haben Einfluss auf…

  • Aufgabenschwierigkeit:
  • Effizienz:
  • Akkuratesse:
    • Abstract metric:
    • Overlap:
    • Cohen’s U3:
  • Sensitivität:
  • Informativität:
  • Wert:

\((BF_{10} > 100)\)
\((BF_{10} > 100)\)


\((BF_{10} < 1/100)\)
\((BF_{10} > 100)\)
\((BF_{10} > 100)\)

\((BF_{10} = 2.05)\)
\((BF_{10} > 100)\)
\((BF_{10} > 100)\)

Open Data & Open Code:
github.com/j-5chneider/effsize_public

Studie 1: Visualisierungstypen

Ergebnisse

Type Task Difficulty Efficiency Accuracy U3 Accuracy overlap Informativity Value
Gardner-Altman (x-Achse) 3.587 23379.21 -0.061 0.024 3.800 3.800
Halfeye (x-Achse) 4.233 17178.32 -0.054 0.035 4.188 4.312
Halfeye (y-Achse) 4.554 16889.87 -0.035 0.001 4.404 4.383
Raincloud (y-Achse) 3.829 20294.13 -0.101 0.019 4.042 4.029

Studie 1: Visualisierungstypen

Ergebnisse

Studie 2: Anreicherungsoptionen

Design

Studie 2

Vergleich der Wirkung verschiedener Anreicherungs-optionen auf das Verständnis

konfirmativ
  • Lehrpersonen (N = Bayesian updating)

  • 2 RCTs
    • Faktor: visuelles Benchmarking (ja vs. nein)
    • Faktor: signaling (Unterschied, Überlappung, kein signalling)

Studie 2: Anreicherungsoptionen

Design

  • steigert Akkuratesse (Kim et al., 2022, Schmidt et al., 2023)
  • steigert Aufgabenschwierigkeit (Baddeley, 1992)
  • verringert Effzienz
  • steigert Informativität
  • steigert Wert

Studie 2: Anreicherungsoptionen

Design


  • steigert Akkuratesse (wenn kein Fehlkonzept)
  • mindert Anzahl an Fehlkonzepten
  • steigert Sensitivität
  • steigert Aufgabenschwierigkeit
  • steigert Effizienz
  • steigert Informativität
  • steigert Wert

Diskussion

  • Visualisierungstyp relevanter Prädiktor erfolgreicher Wissenschaftskommunikation


  • Halfeye-Plot als vielversprechend


  • nicht alleinstehend: Kontext Clearinghouses und Aus-/Fortbildung von Lehrpersonen

Vielen Dank



Jürgen Schneider
ju.schneider@dipf.de


Kooperation


Albers, D., Correll, M., & Gleicher, M. (2014). Task-driven evaluation of aggregation in time series visualization. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 551–560. https://doi.org/10.1145/2556288.2557200
Baddeley, A. (1992). Working memory. Science, 255(5044), 556–559.
Baird, M. D., & Pane, J. F. (2019). Translating Standardized Effects of Education Programs Into More Interpretable Metrics. Educational Researcher, 48(4), 217–228. https://doi.org/10.3102/0013189X19848729
Brown, C., Schildkamp, K., & Hubers, M. D. (2017). Combining the best of two worlds: A conceptual proposal for evidence-informed school improvement. Educational Research, 59(2), 154–172. https://doi.org/10.1080/00131881.2017.1304327
Burns, P. B., Rohrich, R. J., & Chung, K. C. (2011). The levels of evidence and their role in evidence-based medicine. Plastic and Reconstructive Surgery, 128(1), 305–310. https://doi.org/10.1097/PRS.0b013e318219c171
Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Taylor and Francis.
Farley-Ripple, E. N., Oliver, K., & Boaz, A. (2020). Mapping the community: Use of research evidence in policy and practice. Humanities and Social Sciences Communications, 7(1), 83. https://doi.org/10.1057/s41599-020-00571-2
Franconeri, S. L., Padilla, L. M., Shah, P., Zacks, J. M., & Hullman, J. (2021). The Science of Visual Data Communication: What Works. Psychological Science in the Public Interest, 22(3), 110–161. https://doi.org/10.1177/15291006211051956
Hanel, P. H. P., Maio, G. R., & Manstead, A. S. R. (2019). A new way to look at the data: Similarities between groups of people are large and important. Journal of Personality and Social Psychology, 116(4), 541–562. https://doi.org/10.1037/pspi0000154
Hanel, P. H. P., & Mehler, D. M. (2019). Beyond reporting statistical significance: Identifying informative effect sizes to improve scientific communication. Public Understanding of Science, 28(4), 468–485. https://doi.org/10.1177/0963662519834193
Hedges, L. V. (2018). Challenges in Building Usable Knowledge in Education. Journal of Research on Educational Effectiveness, 11(1), 1–21. https://doi.org/10.1080/19345747.2017.1375583
Jacowitz, K. E., & Kahneman, D. (1995). Measures of Anchoring in Estimation Tasks. Personality and Social Psychology Bulletin, 21(11), 1161–1166. https://doi.org/10.1177/01461672952111004
Jensen, E. A., & Gerber, A. (2020). Evidence-Based Science Communication. Frontiers in Communication, 4, 78. https://doi.org/10.3389/fcomm.2019.00078
Kale, A., Kay, M., & Hullman, J. (2020). Visual Reasoning Strategies for Effect Size Judgments and Decisions. https://doi.org/10.48550/ARXIV.2007.14516
Kim, Y.-S., Hofman, J. M., & Goldstein, D. G. (2022). Putting scientific results in perspective: Improving the communication of standardized effect sizes. CHI Conference on Human Factors in Computing Systems, 1–14. https://doi.org/10.1145/3491102.3502053
Knogler, M., Hetmanek, A., & Seidel, T. (2022). Determining an Evidence Base for Particular Fields of Educational Practice: A Systematic Review of Meta-Analyses on Effective Mathematics and Science Teaching. Frontiers in Psychology, 13, 873995. https://doi.org/10.3389/fpsyg.2022.873995
Korbach, A., Brünken, R., & Park, B. (2017). Measurement of cognitive load in multimedia learning: A comparison of different objective measures. Instructional Science, 45(4), 515–536. https://doi.org/10.1007/s11251-017-9413-5
Lipsey, M. W., Puzio, K., Yun, C., Herbert, M. A., Steinka-Fry, K., Cole, M. W., Roberts, M., Anthony, K. S., & Busick, M. D. (2012). Translating the Statistical Representation of the Effects of Education Interventions Into More Readily Interpretable Forms (Institute of Education Sciences, Ed.).
Lortie-Forgues, H., Sio, U. N., & Inglis, M. (2021). How Should Educational Effects Be Communicated to Teachers? Educational Researcher, 0013189X2098785. https://doi.org/10.3102/0013189X20987856
Marcus, N., Cooper, M., & Sweller, J. (1996). Understanding instructions. Journal of Educational Psychology, 88(1), 49–63. https://doi.org/10.1037/0022-0663.88.1.49
McPhetres, J., & Pennycook, G. (2020). Lay people are unimpressed by the effect sizes typically reported in psychological science [Preprint]. PsyArXiv. https://doi.org/10.31234/osf.io/qu9hn
Pierce, R., & Chick, H. (2013). Workplace statistical literacy for teachers: Interpreting box plots. Mathematics Education Research Journal, 25(2), 189–205. https://doi.org/10.1007/s13394-012-0046-3
Schneider, S., Beege, M., Nebel, S., & Rey, G. D. (2018). A meta-analysis of how signaling affects learning with media. Educational Research Review, 23, 1–24. https://doi.org/10.1016/j.edurev.2017.11.001
Slavin, R. E. (2020). How evidence-based reform will transform research and practice in education. Educational Psychologist, 55(1), 21–31. https://doi.org/10.1080/00461520.2019.1611432
Thomm, E., Gold, B., Betsch, T., & Bauer, J. (2021). When preservice teachers’ prior beliefs contradict evidence from educational research. British Journal of Educational Psychology. https://doi.org/10.1111/bjep.12407

 

Icons:

Icons by Font Awesome CC BY 4.0

Theorie | Warum Wissenschaftskommunikation?

Theorie

Forschungsstand zur Visualisierung statistischer Information (für Laien)

Theorie | What we know about visualizing data (in general)

Study 1 | plot types: Results, Descriptives

Study 1 | plot types: Results efficiency

Study 1 | plot types: Results, Descriptives

Study 1 | plot types: Results, Descriptives

Study 1 | plot types: Results accuracy

Study 1 | plot types: Results accuracy

Study 1 | plot types: Results accuracy

Study 1 | plot types: Results accuracy

Study 1 | plot types: Results accuracy


without misconceptions

Folien: bit.ly/gebf23-v (view) | bit.ly/gebf23-g (download from github)